\chapter{Оценки линейной системы при различной доступной информации}
\label{linear_static}
Рассмотрим теперь случай линейной системы
\begin{equation*}
	y = Ub + n,
\end{equation*}
где строки матрицы $U$ являются входными векторами задачи для серии экспериментов.

Для линейной системы мы можем предложить несколько методов оценки вектора параметров $b$ по выходным данным $y$ при различных наборах доступной информации. В данной главе представлены эти методы и некоторые их свойства.

\section{Свойства статистических оценок}
Как уже говорилось выше, идентификация с точки зрения теории параметрического оценивания --- это построение оценок неизвестных параметров по результатам наблюдений. Строящиеся таким образом оценки являются статистическими, т.е. представляют собой функцию от выборки.

\begin{df}
Статистическая оценка (статистика) --- это функция выборки $x_{1},...,x_{n}$.
\end{df}

Нас будут интересовать оценки $\beta(x_{1},...,x_{n}) \equiv \beta_{n}$ параметра $b$. Строя такие оценки, важно понимать их свойства. Остановимся подробнее на свойствах статистических оценок представляющих для нас наибольший интерес.

\begin{enumerate}
\item   Несмещенность:
        $\E \beta = b$ (данные оценки не всегда являются хорошими).
        
        Асимпотическая несмещенность:
        $\lim\limits_{n \rightarrow \infty} \E \beta_{n} = b$;

% Существуют разные типы состоятельности...
\item Состоятельность (оптимальность в среднеквадратическом смысле): \newline
        $\lim_{n \rightarrow \infty} \E ||b-\beta_{n}||^2 = 0$;
        
\item Эффективность (для несмещённых оценок):
        Несмещенная оценка $\beta_n$ называется эффективной (асимптотически эффективной), если  для произвольной другой несмещенной оценки $\gamma_n$ выполнено $\D\gamma_{n} \geq \D\beta_{n}$ ($\lim\limits_{n \rightarrow \infty} \D\gamma_{n} \geq \lim\limits_{n \rightarrow \infty} \D\beta_{n}$).
        
        Эффективность эквивалентна равномерной минимальности дисперсии в классе несмещенных оценок. 

\item   Достаточность: для любого множества $A\subseteq \real^n$ имеем $\Pr(x\in A | \beta_n)$ не зависит от $b$.
        \end{enumerate}

\section{Какая информация может быть доступна}
На практике чаще всего бывает известна следующая информация о задаче:
\begin{enumerate}
    \item[0.] Измерения величин $y_1, \dots, y_N$: $y_1^{*}, \dots, y_N^{*}$.
    \item  Считается, что компоненты шума $n_1, \dots, n_N$ независимы и одинаково распределены, при этом известна их плотность $p_n$.
    \item Известна $p_b$ --- априорная плотность распределения параметра $b$ (например, кто-то до нас получил статистическую информацию о $b$).
    \item Известна функция штрафа $G(b, \beta)$.
\end{enumerate}

\section{Методы на основе минимизации среднего риска}
\subsection{Формула для $p(b|y)$ в случае линейных систем} 
% 1) Получаем что pn = p(y|b) через замену переменной в совместной плотности y - Ub
% 2) Применяем формулу Байеса
Для первых трех методов нам понадобится знание условной плотности, о которой мы говорили ещё в первой главе. В линейных задачах мы можем получить для неё явную формулу.
\label{p_b_case_y}
 \begin{equation*}
        p(b \left|\right. y ) = \frac{p(b, y)}{p(y)} = \frac{p(y \left|\right. b) q(b)}{p(y)}.
    \end{equation*}
    По теореме о замене переменных в подынтегральном выражении, будем иметь:
    \begin{equation*}
        p(b, y) = p(b, y - ub)\left|\frac{\partial y}{\partial (y - ub)}\right| = p(b) p(y - ub) = q(b) p(n).
    \end{equation*}
    Таким образом, $p(y \left|\right. b) q(b) = p(n) q(b)\Rightarrow p(y \left|\right. b) = p(n)$.
    $\beta_b = \Argmax_b p(b \left|\right. y)$,  условная плотность примет вид:
    \begin{equation*}
        p(b \left|\right. y) = \frac{p(n) q(b)}{p(y)}
    \end{equation*}

\subsection{Инф. 0-3: Оценка минимального среднего риска}
\cfinput{risk_methods/m03_min_average_risk}

\subsection{Инф. 0-2: Байесовская оценка}
\cfinput{risk_methods/m02_bayes}

\subsection{Инф. 0-1: Оценка максимального правдоподобия (ОМП)}
\cfinput{risk_methods/m01_maximum_likehood}

\section{Методы на основе среднеквадратичной оптимизации}

Из результатов предыдущих разделов видно, что во многих случаях наилучшей оптимальной оценкой является условное математическое ожидание $\E(b|y)$. В гауссовском случае оно также будет линейно по $y$. Но для других распределений условное математическое ожидание
может представлять собой сложную нелинейную функцию, построение и анализ которой крайне затруднительны. Для того, чтобы получить более пригодную для анализа оценку, можно ограничить класс функций, среди которых эта оценка ищется, а именно:
\begin{enumerate}
\item Оцениваемые величины будем предполагать лежащими в ''хорошем`` пространстве (это нужно для доказательства оптимальности оценок этих величин). А именно, далее будем предполагать, что все рассматриваемые случайные векторы имеют конечный второй момент --- тогда их можно рассматривать как элементы функционального пространства $L^2$. 
\item Сами оценки будем строить имеющими несложную структуру, параметризуемыую конечномерным параметром. 
\end{enumerate}

\begin{note}
Т.к. мы находимся в пространстве $L^2$, то фраза ''задан случайный вектор $x$`` будет означать, что заданы его математическое ожидание и ковариационная матрица, а фраза ''заданы случайные векторы $x,\;y$`` будет означать, что заданы их математические ожидания и ковариационные и кросковариационная матрицы, т.е.
$$\begin{array}{rcl}
x & \longrightarrow & m_x,\;R_x\\ x,\;y & \longrightarrow & m_x,\;
m_y,\; R_x,\; R_y,\; R_{xy}=R_{yx}\end{array}.$$
\end{note}

В пространстве $L^2$ мы построим оценки для информационных случаев 0)-2), постепенно уменьшая объем известной информации.

\subsection{Линейные оценки, оптимальные в средне-квадратичном (ЛООСК)}
\cfinput{l2_methods/m_LOOSK}

\subsection{Гауссовско-Марковская оценка (ГМО)}
% Несмещённая оценка вида А(y - Ey), оптимальная в среднеквадратичном
\cfinput{l2_methods/m_gauss_markov}

\subsection{Оценка наименьших квадратов (ОНК)}
\cfinput{l2_methods/m_least_squares}